我们研究了精神病学临床领域中脑唤醒的调节改变了面部行为的统计特性。潜在的机制与对某些心理状态的行为替代测量的警惕性连续体的经验解释有关。我们以基于经典的头皮的审视传感器（OEG）的意义命名了所提出的测量，该传感器光电脑摄影（OEG）仅依赖于现代基于摄像机的实时信号处理和计算机视觉。基于随机表示作为面部动力学的连贯性，反映了情绪表达中的半径不对称性，我们证明了患者与健康对照之间几乎没有完美的区别，以及精神疾病抑郁症和精神分裂症和症状的严重性。与标准诊断过程相反，该过程耗时，主观，不包含神经生物学数据，例如实时面部动力学，情感响应能力的客观随机建模仅需要几分钟的基于视频的面部录制。我们还强调了该方法作为因果推断模型在转诊分析中的潜力，以预测药理治疗的结果。所有结果均在临床纵向数据收集中获得，其中有100名患者和50例对照。
translated by 谷歌翻译
2022-06-10
当前用于多模式任务的体系结构，例如视觉问题回答的较高复杂性。结果，这些架构很难训练，需要高度的计算资源。为了解决这些问题，我们提出了一个基于夹的体系结构，该体系结构不需要对功能提取器进行任何微调。简单的线性分类器用于图像和文本编码器的串联特征。在训练过程中，添加了辅助损失，该辅助损失可在答案类型上运行。然后将结果分类用作答案类选择的注意门。在Vizwiz 2022视觉问题回答挑战中，我们在任务1上获得了60.15％的准确性：预测任务2：预测视觉问题的可回答性的视觉问题和AP得分为83.78％。
translated by 谷歌翻译
深度神经网络（DNN）用于敏感应用域的一个主要缺点是它们的黑匣子性质。这使得难以验证或监控复杂的象征要求。在这项工作中，我们展示了一个简单但有效的方法来验证训练有素的卷积神经网络（CNN）是否尊重指定的符号背景知识。知识可能包括任何模糊的谓词逻辑规则。为此，我们利用来自可解释的人工智能（XAI）的方法：首先，使用概念嵌入分析，计算机视觉CNN的输出由概念输出富集的HOC;其次，从先验知识中的逻辑规则被欺骗以用作概念输出的连续值函数。这些可以用很少的计算开销进行评估。我们展示了我们在现有技术的对象探测器上的三种多样化案例：在运行时在运行时检测和定位DNN不当行为的规则以及比较DNN的逻辑一致性的规则。后者用于查找有效的D1和掩模R-CNN对象检测器之间的相关差异。我们表明这种方法从模糊和校准概念输出中受益。
translated by 谷歌翻译